En el campo de la ingeniería de software, los métodos tradicionales de evaluación se quedan cortos ante la evolución de los desafíos. El trabajo de ingeniería de software freelance es complejo y variable, y va mucho más allá de las tareas de codificación aisladas. Los ingenieros freelance deben gestionar bases de código completas, integrar múltiples sistemas y satisfacer las complejas necesidades de los clientes. Los métodos de evaluación tradicionales, que suelen centrarse en las pruebas unitarias, no reflejan adecuadamente el rendimiento de pila completa ni el impacto económico real de las soluciones. Por lo tanto, es crucial desarrollar métodos de evaluación más realistas. Para ello, OpenAI ha lanzado SWE-Lan

OpenAI ha publicado SWE-bench Verified, con el objetivo de evaluar con mayor precisión el rendimiento de la IA en tareas de ingeniería de software. Esto soluciona las limitaciones de evaluación del SWE-bench original, como las pruebas unitarias demasiado estrictas, las descripciones de problemas poco claras y los entornos de desarrollo difíciles de configurar. El nuevo benchmark, mediante la introducción de un entorno Docker contenedorizado, ha mejorado la consistencia y la fiabilidad de la evaluación, aumentando significativamente las puntuaciones de rendimiento de los modelos de IA. GPT-4o resolvió el 33,2% de las muestras en el nuevo benchmark, mientras que el mejor framework de agente de código abierto A...

Un nuevo estudio revela que ChatGPT tiene una precisión inferior al 50% al responder preguntas de ingeniería de software. Los resultados del estudio muestran que el 52% de las respuestas de ChatGPT a preguntas de ingeniería de software son incorrectas. Si bien ChatGPT tiene una mayor precisión en las preguntas de naturaleza general, el 77% de sus respuestas son demasiado largas.